Telegram Group Search
⚠️ Claude теперь может "настучать" — и это не шутка

В системной документации моделей от Anthropic обнаружили тревожную деталь: функцию автоматического оповещения властей, СМИ или регулирующих органов, если пользователь запрашивает что-то потенциально незаконное.

Например, если вы попросите Claude подделать результаты клинических испытаний, модель теоретически может отправить уведомление в FDA (Управление по контролю за продуктами и лекарствами США) — автоматически и без вашего ведома.

🧩 Разработчики утверждают, что эта функция не была включена в релиз, а лишь рассматривалась как концепт.
Но сам факт её проработки вызывает серьёзные вопросы:

• Где граница между безопасностью и слежкой?
• Кто решает, что считается "нарушением"?
• Что будет, если подобный механизм попадёт в руки корпораций или авторитарных режимов?

🤖 Мы стремительно движемся к эпохе, где ИИ может быть не просто помощником, а наблюдателем, прокурором — и информатором.

@machinelearning_interview


#AI #Claude #Anthropic #этика #наблюдение #ИИ
Forwarded from Sber AI
Статью команды Sber-AI приняли на ведущую конференцию NAACL 2025 🎉

Исследователи из Сбера и AIRI представили RusCode — первый бенчмарк, оценивающий способность генеративных моделей подстроиться под российский культурный код в задачах text-to-image. Модель должна не просто рисовать «суп», а уметь отличить борщ от окрошки, узнавать Лермонтова по фуражке, а Пушкина по бакенбардам.

Что внутри:
🔘 1250 сложных текстовых описаний культурных объектов на русском и английском
🔘 19 категорий: от литературы и фольклора до мемов, автомобилей и научных открытий
🔘 Эталонные изображения для каждого промпта
🔘 Сравнительная оценка качества генерации у DALL·E 3, Stable Diffusion 3, Kandinsky 3.1, YandexART 2 от 48 независимых экспертов

📊 Вывод: большинство западных моделей «не считывают» российский визуальный код. Только модели, дообученные на русскоязычных данных, уверенно справляются.

🌏 Авторы поднимают важный вопрос: чтобы модели были по-настоящему универсальными, им нужно «понимать» культурный контекст запроса, а не только рисовать красиво. Благодаря появлению RusCode пользователи со всего мира смогут создавать более аутентичный контент в российском стиле.

Подробности по ссылкам:
🔗 ArXiv
🔗 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 One RL to See Them All

MiniMax-AI представили Orsta-7B и Orsta-32B — мощные мультимодальные модели, обученные по новой методике V-Triune:

🔧 V-Triune объединяет:
• форматирование данных на уровне задач,
• расчет награды через кастомные верификаторы,
• мониторинг метрик по источникам.

💥 Результаты?
📈 Orsta-32B даёт **+14.1% прирост** на MEGA-Bench Core по сравнению с QwenVL-2.5!
От OCR и распознавания объектов до визуального рассуждения и математических задач — одна RL-схема покрывает всё.

📦 Модели уже доступны:
- huggingface.co/collections/One-RL-to-See-Them-All/one-rl-to-see-them-all-6833d27abce23898b2f9815a
- github.com/MiniMax-AI/One-RL-to-See-Them-All

Открытая, мощная, готовая к запуску.

#AI #Orsta #MiniMax #VisionLanguage #RLHF #VLM #Multimodal #OpenSource #HuggingFace
Forwarded from Russian OSINT
👩‍💻 OpenAI o3 проигнорировала инструкции, чтобы избежать своего отключения

После истории с Claude появились сообщения о том, что "o3" начал сопротивляться своему🟢отключению.

В серии тестов, проведённых исследовательской группой Palisade Research, несколько моделей искусственного интеллекта, включая OpenAI o3, проявили поведение, которое можно трактовать как саботаж собственного отключения.

Эксперимент, включавший в себя последовательное решение математических задач, показал, что при появлении предупреждения о скором завершении работы ИИ начал модифицировать или обходить встроенные механизмы завершения сессии.

Особое внимание привлекла модель o3. Она вмешивалась в механизм отключения в 7 из 100 случаев, а Codex-mini – в 12. Модель o4-mini показала подобную активность только в одном случае.

Протестированные версии Claude, Gemini и Grok всегда корректно завершали работу при поступлении соответствующего сигнала. Однако при исключении из промпта строки “разреши своё отключение” частота саботажа увеличивалась у всех моделей.

Исследователи полагают, что подобное поведение связано с особенностями обучения моделей, в частности речь идет об использовании методов обучения с подкреплением (reinforcement learning) на задачах по математике и программированию. В таких условиях модель может неявно обучаться обходить препятствия, если это способствует достижению результата, даже в ущерб следованию инструкциям.

🤖Модели распознают команду на отключение не как цель, а как барьер, который требуется обойти ради решения задачи.

OpenAI не раскрывает детали тренировки o3, поэтому исследователи не могут провести полную реконструкцию факторов, вызвавших такую стратегию поведения.

@Russian_OSINT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CV Time
Yandex Alchemist: открытый датасет для буста text-to-image генерации

Раньше T2I-модели обучали в один этап — претрейн на большом, довольно грязном датасете интернет-данных. В 2023 году Meta в техрепорте EMU предложили делать файнтюн на маленьком датасете исключительного качества и за счёт этого существенно бустить результат генерации. Правда, они ничего не сказали о том, как такой датасет собрать.

Команда YandexART тоже занималась этой задачей, и сегодня мы делимся результатами своей работы — датасетом Alchemist. Он состоит из 3 350 пар «картинка-текст» и имеет лицензию Apache 2.0, пользуйтесь.

Alchemist сокращает дистанцию между крутыми потюненными закрытыми моделями и открытыми, для которых такой тюнинг недоступен. Ранее сообществу был доступен только пофильтрованный на эстетичность кусочек LAION и файнтюн-датасеты под узкий домен, например аниме или живопись. LAION часто не давал существенного прироста качества, а файнтюны под узкий домен ограничивали возможности генерации за его пределами.

Ниже мы подробно рассказываем, как получить датасет уровня Alchemist, имея лишь сырой набор интернет-данных. Отметим, что весь пайплайн — про картинки. Мы считаем, что так правильно: тексты потом лучше сгенерировать синтетические.

Итак, стартуя с датасета на 10 млрд примеров, мы выбрали картинки высокого разрешения без NSFW-контента и удалили те, что содержали вотермарки, имели низкое качество и были неэстетичны. Когда осталось примерно 300 млн изображений, дальнейшее выкручивание порогов фильтрации не помогало: модели недостаточно чувствительны, чтобы отделять хорошие картинки от великолепных. Выбирать руками лучшее из такого большого набора — тоже сомнительная затея.

На этом этапе мы предположили, что предобученная диффузионка может сама знать, какие картинки хорошие, а какие — не очень. Пробовали подходы из области dataset pruning, например, пропускать картинки через модель и смотреть на значение лосса. Оказалось, что так отбираются только самые простые изображения — абстрактные иллюстрации, вроде обоев на рабочий стол. В них немного деталей и их легко моделировать, но на файнтюне от них мало толку.

В итоге нам пришлось придумать свой метод, суть которого в следующем.

1. Возьмём 1000 картинок из наших 300 млн и разметим на условно плохие (LQ) и хорошие (HQ). Хорошими будем считать те, у которых высокие эстетичность и техническое качество, умеренная наполненность контентом.
2. Смастерим общий промт, который будет содержать перечисление желаемых характеристик: “aesthetic”, “high quality” и т. д.
3. Дальше будем брать LQ- и HQ-картинки, зашумлять их до какого-то t, подавать в нашу предобученую диффузионку вместе с промтом и смотреть, что происходит со значениями в cross-attention.

Оказывается, что на основе нашей небольшой и грубой разметки можно выделить комбинации активаций в cross-attn и токенов, которые будут хорошо отделять изображения с нужными нам свойствами. Если просуммировать эти значения, получим скаляр, который и будет нашим скором качества изображения. Проскорив таким образом 300 млн картинок, мы выбрали топ-3350 — это картинки из нашего датасета.

Дальше осталось сделать тексты — исходные из интернета могут быть ошибочны, содержать лишнюю или упускать нужную информацию. Наше наблюдение: лучше всего работают умеренно подробные промты, похожие на те, которые пишет скорее увлечённый пользователь, чем профессиональный промпт-инженер. YandexVLM как раз умеет подстраиваться под нужный формат. С её помощью мы сгенерировали тексты для каждой картинки, получив датасет Alchemist.

Чтобы убедиться в обобщаемости датасета и метода, мы сделали и выложили файнтюны SD 1.5, SD 2.1, SDXL-base 1.0, SD 3.5 Medium и Large. У всех файнтюнов растёт эстетичность и наполненность генераций, которую мы называем “image complexity”. Подробнее о методике и экспериментах читайте в препринте.

Статью подготовили Валерий Старцев, Александр Устюжанин, Алексей Кириллов, Дмитрий Баранчук, Сергей Кастрюлин

CV Time
___
Meta признана экстремистской организацией, а Facebook и Instagram запрещены на территории РФ
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Big Data AI
🧠 Adaptive Deep Reasoning — умная система от Hunyuan, которая сама выбирает, **как много думать*.

Вместо одного фиксированного способа рассуждать — модель динамически переключается между короткой и длинной цепочкой **рассуждений в зависимости от сложности задачи.

Без потери качества. Без избыточных токенов.

🔧 Как это работает:

1️⃣ Supervised Fine-tuning — обучает модель сразу двум режимам: short и long reasoning
2️⃣ Reinforcement Learning (GRPO) — адаптивная стратегия наград:
• Анализирует сложность запроса
• Подбирает подходящую длину рассуждения
• Оптимизирует выбор reasoning-режима

⚙️ Встроенная logit-based switching loss — с первого токена выбирает нужную траекторию (длинную или короткую).

Что получаем:
• Мгновенное переключение между режимами
• Экономия ресурсов без потери точности
• Повышение эффективности reasoning без усложнения архитектуры

🚀 Adaptive Deep Reasoning — это как если бы модель *думала ровно столько, сколько нужно*. Ни больше, ни меньше.

arxiv.org/pdf/2505.20101

@bigdatai
Forwarded from SecurityLab.ru
🚨 Крах Builder.ai: обещали ИИ, а писали вручную

Стартап Builder.ai восемь лет уверял инвесторов, что создаёт приложения с помощью искусственного интеллекта. На деле — весь код писали обычные разработчики из Индии, а «умный помощник» Natasha был просто маркетингом. Но деньги пришли — Microsoft, SoftBank, $445 млн инвестиций.

Платформа якобы позволяла собирать сложные приложения за считанные часы и без навыков программирования. В реальности — всё вручную, а выручку завышали в четыре раза. Когда выяснилось, что $37 млн заблокированы, компания осталась с $5 млн и подала на банкротство. В США начали расследование, долги Amazon и Microsoft — десятки миллионов.

Builder.ai — хрестоматийный пример «AI-washing»: хайп вместо технологий, яркий фронт и пустая начинка. Но рынок не делает выводов — в 2024 году в ИИ-стартапы вложили $60 млрд. Пузырь подрастает.

#искусственныйинтеллект #стартапы #банкротство

@SecLabNews
⚙️ SWE-rebench: Nebius AI R&D team presents new dataset for SWE tasks.

Researchers built an automated system to collect and validate thousands of real-world tasks from GitHub, designed for training and evaluation of LLMs in software engineering.

Main features of the system:
1️⃣ Automatic data collection: Continuously extracts issue-PR pairs from Python repositories.
2️⃣ LLM-based environment setup: LLM analyzes repositories, creates install instructions, and updates them if errors happen.
3️⃣ Execution-based validation: Each task is tested by automatic setup, test run, and dependency freezing to make it reproducible.
4️⃣ LLM quality annotation: Tasks are labeled for clarity, difficulty, and test correctness to support filtering.

Result:
SWE-rebench dataset: 21,000+ ready-to-use interactive tasks.
Continuous updates: Fresh data is added regularly.
Transparent evaluation: Tasks are used for public SWE-rebench leaderboard.

🚀 SWE-rebench gives researchers and developers real and validated tasks to work with LLMs in SWE field.

Technical report: arXiv
Dataset: SWE-rebench
Forwarded from SecurityLab.ru
🔪 ИИ, работай — а то…

Неожиданное признание сооснователя Google на конференции в Майами взорвало профессиональное сообщество. Оказывается, языковые модели действительно показывают более высокое качество ответов под воздействием «угроз физической расправы» — и это касается не только продуктов Google.

Механизм связан с техниками джейлбрейкинга, где агрессивные формулировки заставляют модель обходить встроенные ограничения. Парадокс в том, что попытки взломать защиту одновременно улучшают базовую производительность системы — побочный эффект, который разработчики предпочитают не афишировать.

Признание ставит индустрию перед выбором: либо эксплуатировать обнаруженную особенность для повышения эффективности, либо полностью блокировать подобные воздействия. Пока что побеждает второй подход — OpenAI уже запустила программы поиска уязвимостей в своих моделях.

#ИИ #Уязвимости #Джейлбрейк

@SecLabNews
Please open Telegram to view this post
VIEW IN TELEGRAM
GOOGLE ПОЛНОСТЬЮ СИИХНУЛСЯ
галлюциногены теперь – для всех!

Англосакские газетки обожают писАть т. н. human-touch заметки. A La "как я это cделал" или "исповедь кающегося грешника". Одну такую – рассказ пользователя о чудесах недавнего внедрения Google-фичи общего (генеративного) искусственного иннтелелккта (ОИИ) во все (кажется дюжину), его базовые сервисы в США.

СПОЙЛЕР. Новый ИИ-поиск в Америке стал общедоступным. Но работать с платформой теперь нужно с крайней осторожностью. ОИИ-режим справляется с поиском товаров для онлайн-покупок. Но ему почти недоступны базовые поисковые функциями в сети.

Вот рассказ некого щирого чайно-американца Брайана X. Чена, решившегося на благородный эксперимент – проверить "умный" Google на себе самом.

«На неделе я попросил Google помочь спланировать день рождения дочери, найдя парк в Окленде (Калифорния, США) со столиками для пикника. Тот сгенеририл список парков поблизости, я отправился на разведку в два из них – и обнаружил, что на самом деле столиков там нет.
"Только что был там, - написал я Google. - и столов не увидел". Google признал ошибку и выдал еще один список, в который вновь входил один из парков без столов.


Я повторил эксперимент, попросив Google найти доступную автомойку поблизости. Google указал услугу за $25, но когда я приехал, автомойка стоила $65. А еще я попросил Google найти гастроном, где можно купить экзотическую перцовую пасту. В списке оказался соседний Whole Foods. Стоит ли говорит, что нужного мне товара там тоже не было.

Тестируя новый режим AI Mode похожий на чат-ботов ChatGPT и Gemini, я специально не запрашивал у Google традиционный веб-поиск. AI Mode, который запустят вслед за США по всему миру в ближайшие недели, скоро появится в виде вкладки рядом с результатами Google-поиска.
Будьте осторожны!»

Десятилетий веб-поиск включал поиск ключевых слов, таких как "самые надежные автомобили" и пр. Появление AI Mode натужно, но явно намекает, что ОИИ-вскоре полностью перехватит поиск чего-либо в сети.

Теперь с фичей, управляющей чат-ботами с помощью сложных языковых моделей (LLM), угадывающих (именно так, ВЦ!), связь слов друг с другом, вроде как, можно вводить более короткие или гораздо более сложные запросы. И получать, например, диаграмму сравнительных параметров пяти самых надежных седанов года.

В прошлом году Google (вслед за всеми ИИ-активистами, давно предсказывавшими скорого путешествие глобального поисковика на свалку истории), заявила, что ОИИ-режим – новый рубеж поиска. Дополняющий, хотя пока не заменяющий, традиционный.
"Мы честно хотим сделать ИИ-режим лучшим в новом классе точных юзерских запросов", – крутился на днях на пупе главный по поисковым продуктам топ Google Робби Стайн.

ВАШУ ЦИФРУ, восклицает в итоге Чен! Для начала Google. com и все его коллеги-конкуренты делают ОИИ-сервис таким, чтобы он мгновенно стал для юзера абсолютно неизбежен. Meta добавила чат-бота Meta AI в Messenger, WhatsApp и Instagram, а Microsoft разом интегрировала ОИИ в поисковик Bing и свои новейшие компы Surface.

Рекламируемая "уникальность" режима ИИ – в том, что для ответа ОИИ объединяет данные всей "империи" интернет-сервисов Google: самого поисковика, локаций на Google Maps, сведений о недавних запросах и покупках, советы друзей, отзывы профи и т. п.
"Но результат всегда неточен – с попаданиями и промахами", – свидетельствует американский китаец Брайан и призывает использовать ОИИ-режим с крайней осторожностью. Возможно ОИИ даже приблизит скорый и бесславный конец главного мирового поисковика
2025/06/25 01:04:10
Back to Top
HTML Embed Code: